コードを書かずに”データ前処理”を作成・実行可能！機械学習を使用した新しいビジュアルデータ準備ツール「AWS Glue DataBrew」がリリースされました！

しんや

2020.11.12

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

日本時間の2020年11月12日(火) 早朝、機械学習を使用した新しいビジュアルデータ準備ツールとして「AWS Glue DataBrew」という機能が突如発表されました！そしてこちらの機能、既に本日から利用可能となっているようです。

AWS Glue DataBrew, a visual data preparation tool that enables data scientists and data analysts to clean &
normalize data up to 80% faster, is now generally available. Read this AWS News Blog to learn more: https://t.co/BVp3PA5n4z pic.twitter.com/XUc8s3NPka

— Amazon Web Services (@awscloud) November 11, 2020

当エントリでは、この新しい機能「AWS Glue DataBrew」がそもそもどういったものなのか、ざっくり内容を確認してみたいと思います。

AWS Glue DataBrewとは

AWS Glue DataBrewは、コードを書かずに(ビジュアル・GUIで)データのクレンジングや正規化といった所謂「データの前処理」を行うことが出来る"データ準備ツール"機能です。この機能を使う事で「分析や機械学習で必要なデータの準備に掛かる時間を、個別に開発した場合のデータ準備のものと比べて最大80%短縮することが出来る」とAWSのドキュメントやリリースでは謳っています。

DataBrewを使うことで、ビジネスアナリストやデータサイエンティスト、デーアエンジニアが「生データ」から洞察を得るための作業をより簡単に行うことが出来るようになります。DataBrewはサーバレス構成となっており、技術レベルに関係無く、またクラスタやインフラ構成を管理すること無くテラバイト級の生データを探索し、変換することが出来るようになります。

DataBrewでは、以下のようなことが実行可能です。

直感的なDataBrewインタフェースを使用して生データをインタラクティブに検出・可視化・クレンジング・変換
発見が困難で修正に時間が掛かるような"データの品質"に関する問題を特定するのに役立つスマートなサジェッション(提案)を行う
DataBrewがデータ準備を受け持つことで、それらを用いたより迅速な反復処理を実現
変換処理をレシピのステップとして保存しておくことで、後の工程でデータセットを更新したり再利用したりして継続的な展開を実現

下記構成はDataBrewのサービスレベルでの連携イメージです。(AWSドキュメントから拝借...)

DataBrewを使用するには、プロジェクトを作成してデータに接続する必要があります。プロジェクトのワークスペースではグリッド形式のユーザーインタフェースを介して表示されたデータを確認したり、データの探索や値の分布やチャートやプロファイル情報を確認することが可能となります。(※AWS Glue DataBrewの機能ページでは動画で動きを見ることが出来ます)